Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
每个 token 都需要专属教师：多教师自适应 on-policy 自蒸馏
🧭 LLM 后训练 · token 级多教师 OPSD ★ 深度解读
TU München · Munich Center for Machine Learning · Kyoto University · ELLIS Institute Finland · Aalto University
提出 token 级自适应 on-policy 自蒸馏，用多教师池+多数投票+KL 为每个 token 选教师，数学推理最高提升+5.9
📌 工作参考价值（4 点）
- 在生成式推荐 / query 生成 / 文案生成的 on-policy self-distillation 中，如果使用高质量参考（如人工标注、规则 template）作为 privileged reference，建议构造多教师池：对参考做 prefix/suffix/random-span 截断、不同保留比例，而不是只用完整参考；再按 token 选择教师，可避免过度尖锐监督。
- 多数投票 + KL 距离是低成本的 token 级选择规则：先看候选教师对当前学生采样 token 的支持方向是否一致，再在一致子集里选 KL 最大的教师；不需要额外模型，可直接嵌入现有训练 pipeline。
- 消融表明，多教师池配随机选择或平均 loss 提升有限，真正收益来自自适应分配；因此如果业务上做多教师蒸馏，不能只做 ensemble，需要设计 token 级选择策略。
- 若在搜索/推荐 Agent 中让 LLM 生成推理或决策轨迹，可借鉴该 work 的 token 级教师干预评估法来快速诊断哪些位置需要更强监督，而不是整段统一加 loss。